Метод токенизации

Translation метод токенизации into english

Мы изучили новый метод токенизации текста.

We studied a new method of text tokenization.